将来,强大的AI系统可能会在高风险的设置中部署,在这种情况下,单个故障可能是灾难性的。在高风险设置中改善AI安全性的一种技术是对手训练,该培训使用对手来生成示例进行训练,以实现更好的最差表现。在这项工作中,我们将语言生成任务用作测试台,以通过对抗性培训来实现高可靠性。我们创建了一系列的对抗训练技术 - 包括一种有助于人类对手的工具 - 以在分类器中找到和消除故障,该分类器过滤了发电机建议的文本完成。在简单的“避免受伤”任务中,我们确定我们可以设置非常保守的分类器阈值,而不会显着影响过滤后的输出的质量。使用我们选择的阈值,使用基线分类器进行过滤,将不安全完成的速度从分布数据的数据降低到约2.4%至0.003%,这是我们测量能力的极限。我们发现,对抗性训练可显着提高对我们训练的对抗攻击的鲁棒性,而不会影响分布性能。我们希望在高风险的可靠性环境中看到进一步的工作,包括更强大的工具来增强人类对手,以及更好的方法来衡量高水平的可靠性,直到我们可以自信地排除强大模型的灾难性部署时间失败的可能性。
translated by 谷歌翻译
Dynamical systems are found in innumerable forms across the physical and biological sciences, yet all these systems fall naturally into universal equivalence classes: conservative or dissipative, stable or unstable, compressible or incompressible. Predicting these classes from data remains an essential open challenge in computational physics at which existing time-series classification methods struggle. Here, we propose, \texttt{phase2vec}, an embedding method that learns high-quality, physically-meaningful representations of 2D dynamical systems without supervision. Our embeddings are produced by a convolutional backbone that extracts geometric features from flow data and minimizes a physically-informed vector field reconstruction loss. In an auxiliary training period, embeddings are optimized so that they robustly encode the equations of unseen data over and above the performance of a per-equation fitting method. The trained architecture can not only predict the equations of unseen data, but also, crucially, learns embeddings that respect the underlying semantics of the embedded physical systems. We validate the quality of learned embeddings investigating the extent to which physical categories of input data can be decoded from embeddings compared to standard blackbox classifiers and state-of-the-art time series classification techniques. We find that our embeddings encode important physical properties of the underlying data, including the stability of fixed points, conservation of energy, and the incompressibility of flows, with greater fidelity than competing methods. We finally apply our embeddings to the analysis of meteorological data, showing we can detect climatically meaningful features. Collectively, our results demonstrate the viability of embedding approaches for the discovery of dynamical features in physical systems.
translated by 谷歌翻译
Training a generative model on a single image has drawn significant attention in recent years. Single image generative methods are designed to learn the internal patch distribution of a single natural image at multiple scales. These models can be used for drawing diverse samples that semantically resemble the training image, as well as for solving many image editing and restoration tasks that involve that particular image. Here, we introduce an extended framework, which allows to simultaneously learn the internal distributions of several images, by using a single model with spatially varying image-identity conditioning. Our BlendGAN opens the door to applications that are not supported by single-image models, including morphing, melding, and structure-texture fusion between two or more arbitrary images.
translated by 谷歌翻译
训练视觉和语言模型的更多数据总是更好吗?我们研究多模式任务中的知识可传递性。当前的机器学习趋势是假设通过从不同任务加入多个数据集,其整体绩效将有所改善。但是,我们表明,并非所有知识都会很好地转移或对相关任务产生积极影响,即使它们共享一个共同的目标也是如此。我们基于数百种分为4组的视觉和语言任务进行了数百个跨表现的分析。尽管同一组中的任务容易相互改进,但结果表明并非总是如此。其他因素(例如数据集大小或训练阶段)也对知识的转移程度也有很大的影响。
translated by 谷歌翻译
目前,数据赢得了用户生成的数据和数据处理系统之间的大鼠竞赛。机器学习的使用增加导致处理需求的进一步增加,而数据量不断增长。为了赢得比赛,需要将机器学习应用于通过网络的数据。数据的网络分类可以减少服务器上的负载,减少响应时间并提高可伸缩性。在本文中,我们使用现成的网络设备以混合方式介绍了IISY,以混合方式实施机器学习分类模型。 IISY针对网络内分类的三个主要挑战:(i)将分类模型映射到网络设备(ii)提取所需功能以及(iii)解决资源和功能约束。 IISY支持一系列传统和集合机器学习模型,独立于开关管道中的阶段数量扩展。此外,我们证明了IISY用于混合分类的使用,其中在一个开关上实现了一个小模型,在后端的大型模型上实现了一个小模型,从而实现了接近最佳的分类结果,同时大大降低了服务器上的延迟和负载。
translated by 谷歌翻译
人工智能(AI)的应用范围是巨大的,危害可能性也是如此。越来越愤怒地对来自AI系统的潜在风险产生了刺激行动,以解决这些风险,同时侵蚀对AI系统的信心以及发展它们的组织。 2019年研究发现了80多个出版和采用了“AI伦理原则”的组织,从此加入了更多。但原则往往会在“什么”和“如何”之间的差距和“如何”的差距。这样的差距已经启用可疑或道德可疑的行为,这促进了特定组织的可信度,更广泛地。因此,迫切需要允许AI开发人员防止伤害的具体方法,并允许他们通过可验证行为来证明其可靠性。下面,我们探索机制(从ARXIV:2004.07213绘制)创建一个生态系统,即AI开发人员可以获得信任 - 如果他们值得信赖。更好地评估开发商可信度,可以为用户选择,员工行动,投资决策,法律追索和新兴治理提供信息。制度。
translated by 谷歌翻译
我们考虑组合纯勘探(CPE)的问题,该问题涉及在进行各个臂的卷筒未知的情况下,找到具有高奖励的组合组或臂,并且必须使用臂拉估计。以前的算法用于这个问题,同时获得许多情况下的样本复杂性减少,高度计算密集,因此即使对于温和的问题,也使它们不切实际。在这项工作中,我们提出了一种新的CPE算法在PAC设置中,该算法是计算重量的重量,因此可以很容易地应用于数万臂的问题。这是实现的,因为所提出的算法需要非常少量的组合Oracle调用。该算法基于连续接受武器,以及消除基于问题的组合结构。我们为我们的算法提供了样本复杂性保证,并在实验中展示其对大问题的有用性,而先前的算法是不切实际的,以延长几十个武器的问题。 HTTPS://github.com/noabdavid/csale提供了算法和实验的代码。
translated by 谷歌翻译
开普勒和苔丝任务产生了超过100,000个潜在的传输信号,必须处理,以便创建行星候选的目录。在过去几年中,使用机器学习越来越感兴趣,以分析这些数据以寻找新的外延网。与现有的机器学习作品不同,exoMiner,建议的深度学习分类器在这项工作中,模仿域专家如何检查诊断测试以VET传输信号。 exoMiner是一种高度准确,可说明的和强大的分类器,其中1)允许我们验证来自桅杆开口存档的301个新的外延网,而2)是足够的,足以应用于诸如正在进行的苔丝任务的任务中应用。我们进行了广泛的实验研究,以验证exoMiner在不同分类和排名指标方面比现有的传输信号分类器更可靠,准确。例如,对于固定精度值为99%,exoMiner检索测试集中的93.6%的所有外产网(即,召回= 0.936),而最佳现有分类器的速率为76.3%。此外,exoMiner的模块化设计有利于其解释性。我们介绍了一个简单的解释性框架,提供了具有反馈的专家,为什么exoMiner将运输信号分类为特定类标签(例如,行星候选人或不是行星候选人)。
translated by 谷歌翻译
我们研究了在观察环境中贝叶斯网络的主动结构学习,其中可以从同一样本中观察到可变值数量的外部限制。随机样品是从网络变量的关节分布中得出的,算法迭代选择了在下一个样本中观察的变量。我们为此设置提出了一种新的主​​动学习算法,该算法的概率很高,其得分为$ \ epsilon $ -Close的结构达到了最佳分数。我们表明,对于我们称为稳定的一类分布,可以获得示例复杂性降低到$ \ widetilde {\ omega}(d^3)$,其中$ d $是网络变量的数量,其中$ d $是。我们进一步表明,在最坏的情况下,积极算法的样品复杂性保证与天真基线算法的样本复杂性几乎相同。为了补充理论结果,我们报告了将新活性算法与天真基线的性能进行比较的实验,并证明了样品复杂性的改善。在https://github.com/noabdavid/activebnsl上提供了算法和实验的代码。
translated by 谷歌翻译